Support-Compiled Feature Folding: More Evidence at Lower Memory Across Tabular Foundation Models
支持编译特征折叠：跨表格基础模型以更低内存获取更多证据
🧭 表格基础模型 · 特征折叠推理优化
Ant Group · Independent Researcher
训练免推理框架 SCFF 将宽表二次特征交互转为线性宽度工作，内存降低且精度提升
📌 工作参考价值（4 点）
- 面对电商/广告场景的高基数特征宽表（用户/商品/上下文特征可达数千列），可借鉴 SCFF 的「support-ranked + bounded leaves」：先按特征对任务的支持度排序，再分批送入同一冻结编码器，避免全量列成对交叉带来的 Θ(TD²) 显存峰值；线上推理可把峰值显存压到可部署边界，同时保留更多证据，而不是做 hard 特征选择。
- 将「节省的显存预算重新投回特征证据」用于特征裁剪或特征工程：先设定峰值显存上限，按 support 排序动态保留更多高支持特征，能比固定宽度单批获得明显精度提升；适合需要长期维护且不便重训的大表模型。
- 训练免、不改骨干的合并推理模式对业务友好：冻结的大规模表格/多模态模型升级时，只改 inference routing 和 message merging，不需要重训或新增参数，降低工程风险；可作为线上 AB 的轻量优化。
- 有界 working set 和 single contextual prediction 的做法可用于 serverless/批推理：避免 ensemble 多次预测，减少 QPS 成本，同时用 merging 保证单次上下文预测质量。